Beyond sight : an approach for visual semantic navigation of mobile robots in an indoor environment

Orientador: Eduardo TodtDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 22/02/2021Inclui referências: p. 134-146Área de concentração: Ciência da ComputaçãoResumo: Com o crescimento da automacao, os veiculos nao tripulados tornaram-se um tema de destaque, tanto como produtos comerciais quanto como um topico de pesquisa cientifica. Compoem um campo multidisciplinar de robotica que abrange sistemas embarcados, teoria de controle, planejamento de caminhos, localizacao e mapeamento simultaneos (SLAM), reconstrucao de cenas e reconhecimento de padroes. Apresentamos neste trabalho uma pesquisa exploratoria de como a fusao dos dados de sensores e algoritmos de aprendizagem de maquinas, que compoem o estado da arte, podem realizar a tarefa chamada Navegacao Visual Semantica que e uma navegacao autonoma utilizando observacoes visuais egocentricas para alcancar um objeto pertencente a classe semantica alvo sem conhecimento previo do ambiente. Para realizar experimentos, propomos uma encarnacao chamada VRIBot. O robo foi modelado de tal forma que pode ser facilmente simulado, e os experimentos sao reproduziveis sem a necessidade do robo fisico. Tres diferentes pipelines EXchangeable, AUTOcrat e BEyond foram propostos e avaliados. Nossa abordagem chamada BEyond alcancou a 5a posicao entre 12 no conjunto val_mini do Habitat-Challenge 2020 ObjectNav quando comparada a outros resultados relatados na tabela classificativa da competicao. O resultado da pesquisa mostra que a fusao de dados em conjunto com algoritmos de aprendizado de maquina sao uma abordagem promissora para o problema de navegacao semantica. Palavras-chave: Navegacao-visual-semantica. SLAM. Aprendizado-profundo. Navegacao- Autonoma. Segmentacao-semantica.Abstract: With the rise of automation, unmanned vehicles became a hot topic both as commercial products and as a scientific research topic. It composes a multi-disciplinary field of robotics that encompasses embedded systems, control theory, path planning, Simultaneous Localization and Mapping (SLAM), scene reconstruction, and pattern recognition. In this work, we present our exploratory research of how sensor data fusion and state-of-the-art machine learning algorithms can perform the Embodied Artificial Intelligence (E-AI) task called Visual Semantic Navigation, a.k.a Object-Goal Navigation (ObjectNav) that is an autonomous navigation using egocentric visual observations to reach an object belonging to the target semantic class without prior knowledge of the environment. To perform experimentation, we propose an embodiment named VRIBot. The robot was modeled in such a way that it can be easily simulated, and the experiments are reproducible without the need for the physical robot. Three different pipelines EXchangeable, AUTOcrat, and BEyond, were proposed and evaluated. Our approach, named BEyond, reached 5th rank out of 12 on the val_mini set of the Habitat-Challenge 2020 ObjectNav when compared to other reported results on the competition's leaderboard. Our results show that data fusion combined with machine learning algorithms are a promising approach to the semantic navigation problem. Keywords: Visual-semantic-navigation. Deep-Learning. SLAM. Autonomous-navigation. Semantic-segmentation

Beyond sight : an approach for visual semantic navigation of mobile robots in an indoor environment

Orientador: Eduardo TodtDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 22/02/2021Inclui referências: p. 134-146Área de concentração: Ciência da ComputaçãoResumo: Com o crescimento da automacao, os veiculos nao tripulados tornaram-se um tema de destaque, tanto como produtos comerciais quanto como um topico de pesquisa cientifica. Compoem um campo multidisciplinar de robotica que abrange sistemas embarcados, teoria de controle, planejamento de caminhos, localizacao e mapeamento simultaneos (SLAM), reconstrucao de cenas e reconhecimento de padroes. Apresentamos neste trabalho uma pesquisa exploratoria de como a fusao dos dados de sensores e algoritmos de aprendizagem de maquinas, que compoem o estado da arte, podem realizar a tarefa chamada Navegacao Visual Semantica que e uma navegacao autonoma utilizando observacoes visuais egocentricas para alcancar um objeto pertencente a classe semantica alvo sem conhecimento previo do ambiente. Para realizar experimentos, propomos uma encarnacao chamada VRIBot. O robo foi modelado de tal forma que pode ser facilmente simulado, e os experimentos sao reproduziveis sem a necessidade do robo fisico. Tres diferentes pipelines EXchangeable, AUTOcrat e BEyond foram propostos e avaliados. Nossa abordagem chamada BEyond alcancou a 5a posicao entre 12 no conjunto val_mini do Habitat-Challenge 2020 ObjectNav quando comparada a outros resultados relatados na tabela classificativa da competicao. O resultado da pesquisa mostra que a fusao de dados em conjunto com algoritmos de aprendizado de maquina sao uma abordagem promissora para o problema de navegacao semantica. Palavras-chave: Navegacao-visual-semantica. SLAM. Aprendizado-profundo. Navegacao- Autonoma. Segmentacao-semantica.Abstract: With the rise of automation, unmanned vehicles became a hot topic both as commercial products and as a scientific research topic. It composes a multi-disciplinary field of robotics that encompasses embedded systems, control theory, path planning, Simultaneous Localization and Mapping (SLAM), scene reconstruction, and pattern recognition. In this work, we present our exploratory research of how sensor data fusion and state-of-the-art machine learning algorithms can perform the Embodied Artificial Intelligence (E-AI) task called Visual Semantic Navigation, a.k.a Object-Goal Navigation (ObjectNav) that is an autonomous navigation using egocentric visual observations to reach an object belonging to the target semantic class without prior knowledge of the environment. To perform experimentation, we propose an embodiment named VRIBot. The robot was modeled in such a way that it can be easily simulated, and the experiments are reproducible without the need for the physical robot. Three different pipelines EXchangeable, AUTOcrat, and BEyond, were proposed and evaluated. Our approach, named BEyond, reached 5th rank out of 12 on the val_mini set of the Habitat-Challenge 2020 ObjectNav when compared to other reported results on the competition's leaderboard. Our results show that data fusion combined with machine learning algorithms are a promising approach to the semantic navigation problem. Keywords: Visual-semantic-navigation. Deep-Learning. SLAM. Autonomous-navigation. Semantic-segmentation